عنکبوت موتور کاوش یا این که search engine spiders که همینطور به آن خزنده موتور کاوش یا این که search engine crawler نیز می گویند، وظیفه گردآوری همه این اطلاعات و درپی، مراقبت از داده های آپدیت و خالی از هرزنامه را داراست. مثل خزنده گوگل

اسپایدر های موتور کاوش در زمان های گوناگون که خویش واحد سنجش هایی دارا هستند روزمره در تارنما ها به گشت و گذار می‌گذرانند تا بتوانند اطلاعات و داده ها تارنما ها را در ایندکس هایشان بروزرسانی و درجه بندی نمایند.

ایندکس گوگل یا این که هر موتور کاوش دارنده بخش های مختلفی مانند عامل ها پباده سازی و ساختار اطلاعات می‌باشد. دست اندرکاران پباده سازی ایندکس، به نوع پباده سازی یا این که معماری می‌گویند که تصمیم می‌گیرد این شاخص ها یا این که ایندکس ها به چه شکل عمل نمایند.

قسمت های مختلفی که برای ساخت یک شاخص موتور کاوش  مثل گوگل عمل می نمایند عبارتند از:

عامل ها مخلوط: که تصمیم میگیرد کدام اطلاعات یه شاخص اضافه شوند، و تشخیص اینکه کدام داده نو و کدام داده در درحال حاضر بروزرسانی میباشد.
اندازه شاخص: که برمی شود به فضای لازم کامپیوتری که شاخص ها را پشتیبانی می نماید.
تکنیک های ذخیره سازی: تصمیم گیری درباره‌ی شیوه ذخیره سازی اطلاعات، که داده های پهناور نیاز به فشرده سازی دارا‌هستند در حالی که داده های کوچکتر به آسانی غربال می‌شوند.
تلورانس نقص یا این که غلط: بدین زمینه اشاره می نماید که قابل اعتماد بودن شاخص های موتور کاوش چقدر دارای اهمیت میباشد.
سرعت کاوش: همانگونه که از نامش انتظار می رود به‌سرعت جستن اطلاعات در شاخص معکوس گفته میشود.
تعمیر و مراقبت: برهان بسیار مهمی میباشد زیرا شاخص موتور کاوش که بهتر مراقبت و مراقبت خواهد شد بهتر نیز عمل خواهد کرد.